Застройка старинных русских городов начиналась от крепостных стен. Защитное сооружение было и в Ливнах. На территории современного парка культуры и отдыха в 16 веке был возведён Кремль.